dusty-nv/jetson-containers 패키지 아키텍처 및 상세

2025-11-15, G25DR

1. 전략적 개요: NVIDIA Jetson 엣지 AI를 위한 컨테이너화의 필요성

NVIDIA Jetson 플랫폼에서 인공지능(AI) 애플리케이션을 개발하고 배포하는 과정은, 호스트 운영 체제와 GPU 가속 라이브러리 간의 복잡한 종속성으로 인해 고유한 어려움을 수반한다. dusty-nv/jetson-containers 프로젝트는 이러한 임베디드 AI 환경의 도전과제를 해결하기 위해 설계된 컨테이너화된 솔루션 및 빌드 시스템의 집합체이다.

1.1 Jetson 소프트웨어 스택 (JetPack, L4T 및 OS 제약 조건)

Jetson 플랫폼의 기반은 NVIDIA가 제공하는 종합 소프트웨어 개발 키트(SDK)인 JetPack이다.1 JetPack은 세 가지 핵심 구성 요소로 이루어져 있는데, 첫째는 부트로더, 리눅스 커널, Ubuntu 데스크톱 환경, NVIDIA 드라이버 등이 포함된 Jetson Linux (L4T), 둘째는 CUDA, cuDNN, TensorRT를 포함하여 GPU 컴퓨팅, 멀티미디어, 컴퓨터 비전 가속을 위한 완벽한 라이브러리 세트인 AI 컴퓨팅 스택이며, 셋째는 AI 애플리케이션 개발을 가속화하는 플랫폼 서비스이다.2 특히 JetPack 6 또는 7과 같은 최신 버전은 실시간 선점형 커널(preemptable real-time kernel) 지원, Multi-Instance GPU (MIG), 그리고 Orin NX/Nano 모듈에서 AI TOPS 성능을 최대 70%까지 향상시키는 슈퍼 모드(Super Mode)와 같은 기능을 제공한다.1 이처럼 호스트 L4T 커널과 독점적인 NVIDIA 드라이버 라이브러리가 매우 긴밀하게 결합되어 있기 때문에, 딥러닝 프레임워크와 하위 시스템 라이브러리 간의 버전 호환성 문제가 발생하며, 이는 jetson-containers가 해결하고자 하는 핵심 과제이다.

1.2 jetson-containers의 원리: 종속성 문제 해결 및 엣지에서의 이식성 확보

Jetson에서 발생하는 가장 근본적인 개발 문제는 딥러닝 프레임워크(예: PyTorch, TensorFlow)가 호스트 시스템의 CUDA 및 cuDNN 버전과 완벽하게 일치해야 하는 복잡하고 빌드하기 어려운 ARM (aarch64) 아키텍처용 바이너리를 요구한다는 점이다.3 만약 네이티브 설치를 시도할 경우, 컴파일 시간 소모가 크고 실패할 가능성이 높으며, 서로 다른 애플리케이션이 충돌하는 “종속성 지옥(Dependency Hell)“에 빠지기 쉽다.

jetson-containers 리포지토리는 이러한 위험과 시간을 줄여주는 선별된 빌드 시스템과 사전 검증된 Dockerfile을 제공하여 문제를 완화한다.5 컨테이너는 본질적으로 격리, 반복성, 그리고 효율적인 리소스 관리의 이점을 제공하며, 이는 단일 임베디드 장치에서 여러 애플리케이션을 실행해야 하는 임베디드 컨텍스트에서 특히 중요하다.6

1.3 아키텍처 기반: NVIDIA 컨테이너 런타임 및 장치 매핑

컨테이너가 Jetson 하드웨어 가속을 활용할 수 있도록 보장하는 핵심 기술은 NVIDIA 컨테이너 런타임이다. 이 런타임은 표준 Docker 환경에서 GPU를 인식하도록 하며, 호스트 L4T 시스템의 GPU 리소스와 플랫폼별 드라이버 라이브러리(예: libcuda.so)를 컨테이너 내부로 마운트한다.5 이러한 장치 매핑 (--runtime nvidia)은 GPU 가속을 컨테이너 내에서 사용할 수 있도록 보장하는 필수적인 설정이다.7

이러한 컨테이너화 전략이 제공하는 이식성은 일반적인 클라우드 환경에서의 플랫폼 불가지론적(Platform-Agnostic) 이식성과는 근본적으로 다르다. Jetson 환경에서 l4t-base 컨테이너 이미지는 특정 호스트 L4T 릴리스 버전(예: 호스트 r34.1에는 l4t-base:r34.1 태그)에 맞춰 태그가 지정되어야 한다.8 NVIDIA 컨테이너 런타임이 플랫폼별 드라이버를 호스트로부터 명시적으로 마운트한다는 사실은 7, 컨테이너의 이식성이 호환되는 JetPack/L4T 버전을 실행하는 Jetson 장치로 제한됨을 의미한다. 따라서 배포 계획을 수립할 때, 컨테이너 추상화를 활용하기 전에 먼저 플릿 전체의 호스트 OS 버전을 일치시키는 것이 필수적이다.

2. 기본 인프라 패키지

jetson-containers의 패키지 디렉토리는 계층적 구조를 가지며, 가장 낮은 레벨은 운영 체제, CUDA, 하드웨어 가속 환경을 정의하는 기본 레이어들로 구성된다.

2.1 L4T 계층 (Linux4Tegra 기본 이미지)

1. l4t-base: 최소 기본 이미지

이 패키지는 모든 컨테이너화된 Jetson 애플리케이션의 근간이 되는 기본 이미지이다.7 Jetson Linux/L4T BSP와 호환되는 Linux/Ubuntu 사용자 공간 환경을 제공하며 8, NVIDIA 컨테이너 런타임은 이 컨테이너 내부에 독점적인 Jetson 플랫폼 라이브러리와 장치 노드(예: /dev/video*, /dev/nvgpu)를 마운트한다.7

2. l4t-cuda (CUDA 런타임 컨테이너 이미지):

이 이미지는 GPU 컴퓨팅 작업을 위한 CUDA 런타임 구성 요소와 CUDA 수학 라이브러리를 포함한다.9 중요한 점은, 이 구성 요소들은 호스트 OS로부터 마운트되지 않고 컨테이너 내부에 자체적으로 포함된다는 것이다. 이는 CUDA 애플리케이션을 컨테이너화하고 배포할 때 견고함을 보장하기 위해 기본 이미지로 사용된다.7

3. l4t-tensorrt (TensorRT 런타임 컨테이너 이미지):

이 레이어는 l4t-cuda 런타임 위에 구축되며, TensorRT 및 cuDNN 런타임 구성 요소를 포함한다.7 TensorRT는 고성능 AI 추론을 위한 그래프 최적화를 제공하므로, 최적화된 고성능 AI 추론 애플리케이션을 배포하는 데 필수적이다.7

2.2 코어 개발 환경 (l4t-ml / jetpack-core)

이 패키지는 컨테이너화된 방식으로 설치된 전체 JetPack 구성 요소를 포함하는 “풀 스택” 개발 환경을 대표한다.7 이 환경은 PyTorch, TensorFlow, JupyterLab, 그리고 scikit-learn, scipy, Pandas와 같은 주요 데이터 사이언스 프레임워크가 미리 설치된 풍부한 개발 샌드박스 역할을 한다.11 이러한 환경은 초기 설정 시간을 줄이고 개발자가 즉시 AI 여정을 시작할 수 있도록 돕는다.11

이러한 기본 패키지의 구조는 계층화된 컨테이너화가 핵심 구성 요소에 대한 세분화된 버전 제어를 가능하게 한다는 점을 분명히 보여준다. L4T 스택을 base, cuda, tensorrt 런타임으로 분리함으로써 8, 개발자는 기본 L4T OS 인터페이스 레이어를 변경하지 않고도 다른 CUDA 버전 (CUDA_VERSION=12.6)으로 컨테이너 스택을 지정하거나 재빌드할 수 있다.12 이 모듈식 설계 덕분에, 커스텀 고수준 프레임워크(예: PyTorch 2.3.0)를 표준 JetPack 번들과 다를 수 있는 특정 CUDA/cuDNN 버전과 결합할 수 있어 개발 유연성과 Jetson 모델 전반의 수명주기 관리가 크게 향상된다.

Table 1: 핵심 Jetson 컨테이너 인프라 레이어

3. 핵심 머신러닝 프레임워크 패키지

이 섹션의 패키지들은 가장 자주 사용되는 고수준 애플리케이션을 구성하며, 엄격한 버전 제어가 요구된다.

3.1 PyTorch 패키지 (pytorch, l4t-pytorch)

pytorch 패키지는 Jetson의 ARM 아키텍처와 GPU에 최적화된 PyTorch 딥러닝 프레임워크를 제공한다.3 PyTorch는 특정 JetPack/CUDA 버전과 밀접하게 연결되어 있으며, 사용자는 대상 JetPack 버전에 맞는 적절한 PyTorch Python 휠(wheel)을 선택해야 한다(예: JetPack 6 환경을 위한 v2.2.0 또는 v2.3.0).3

jetson-containers 리포지토리의 역할은 필수적인 AArch64 Python 휠의 배포를 관리하는 데 있다. 이는 직접 다운로드 링크를 제공하거나, 컨테이너 빌드를 가속화하기 위해 내부적으로 캐시된 Pip 서버를 통해 이루어진다.12 예를 들어, 전형적인 테스트 환경은 PyTorch 2.2.0, NumPy 1.26.4, ONNX 1.19.1의 통합을 보여주며, 컨테이너가 특정 구성 요소에 대해 호스트 시스템의 CUDA에 의존하면서도 런타임 라이브러리를 컨테이너 내에서 관리하는 방식을 보여준다.13 개발자는 CUDA_VERSION, CUDNN_VERSION, PYTORCH_VERSION과 같은 환경 변수를 통해 빌드 프로세스를 세부적으로 제어하고 재현 가능한 연구 환경을 조성할 수 있다.12

3.2 TensorFlow 패키지 (tensorflow)

tensorflow 패키지는 Keras와 저수준 TF 작업을 GPU로 가속화하여 지원하는 TensorFlow 프레임워크를 제공한다.11 Jetson에서 TensorFlow를 소스에서 빌드하는 것은 복잡하며, CUDA/cuDNN과의 엄격한 버전 호환성 문제에 직면하기 쉽다.4 jetson-containers는 검증된 TensorFlow 빌드를 제공하며, 종종 월별 NVIDIA 컨테이너 버전(예: 23.01)을 활용하여 기본 JetPack 설치와의 호환성을 보장한다.4

3.3 ONNX 런타임 패키지 (onnxruntime)

이 패키지는 ONNX 형식으로 변환된 모델의 교차 플랫폼 배포를 가능하게 하여 통합된 추론 엔진을 제공한다.15 ONNX 런타임은 가속화를 위해 실행 공급자(Execution Providers, EPs)를 활용하며, Jetson에서는 CUDA 및 TensorRT EP가 핵심이다.10 ONNX 런타임 버전은 JetPack 5.x (TensorRT 8.5까지 지원) 및 JetPack 6.x (TensorRT 8.6-10.3)와 호환된다.10 개발자는 ONNX 런타임 버전을 호스트 JetPack에서 사용 가능한 TensorRT 버전과 일치시켜야 한다.

이러한 종속성 관계는 ARM 기반 CUDA 환경의 전략적 복잡성을 강조하며, jetson-containers를 필수적인 소프트웨어 공급망 관리자로 자리매김하게 한다. 표준 ML 프레임워크는 공개적으로 사용 가능한 바이너리 패키지에 의존하지만, Jetson의 AArch64 아키텍처의 경우, 이러한 휠(wheel)은 대상 CUDA/cuDNN 버전에 맞춰 특별히 컴파일되어야 한다.3 이 프로젝트는 단순히 Dockerfile을 호스팅하는 것을 넘어, 이러한 깨지기 쉬운 아키텍처별 종속성 아티팩트를 적극적으로 유지하고 캐시하는 기능(예: Pip server that caches the wheels)을 수행하여 12, 빌드 시간을 가속화하고 사용자 신뢰도를 높이는 정교한 공급망 관리 역할을 수행한다.

Table 2: 딥러닝 프레임워크 호환성 매트릭스 (예시)

4. 로보틱스 및 비전 파이프라인 패키지

이 패키지들은 Jetson의 실시간 기능을 활용하여 인지 및 행동을 구현하도록 설계되었다.

4.1 로보틱스 운영 체제 (ROS/ROS2)

ros 및 ros2 패키지는 로봇 시스템의 통신, 하드웨어 추상화 및 통합을 위한 표준 미들웨어를 제공한다.16 이 패템에는 레거시 ROS 1 (예: Melodic, Noetic) 및 최신 ROS 2 배포판 (예: Foxy, Humble)용 컨테이너가 포함되어 있다.16 컨테이너는 SLAM (Simultaneous Localization and Mapping) 지원과 같은 특수 기능(예: --with-slam 옵션)을 포함하도록 빌드될 수 있다.17

특히 중요한 것은 **ros2_nanollm**과 같은 고급 통합 패키지이다. 이 패키지는 Jetson 로봇 파이프라인 내에서 최적화된 LLM(대형 언어 모델) 및 VLM(비전-언어 모델) (예: Llama-3-VILA)을 실행하기 위한 ROS2 노드를 제공한다.16 이는 엣지 장치에서 실시간 생성형 AI를 배포할 수 있는 기능을 제공하는 프로젝트의 미래 지향적인 설계를 보여준다.

4.2 DeepStream SDK 패키지 (deepstream)

deepstream 패키지는 고성능, 다중 스트림 비디오 및 이미지 분석 애플리케이션을 생성하기 위한 고수준 SDK를 제공한다.18 DeepStream 파이프라인은 GStreamer를 활용하며, Jetson의 전용 하드웨어 블록(비디오 디코더, ISP, GPU)을 활용하여 종단 간 가속화를 달성한다.18 컨테이너는 필수 DeepStream 플러그인 및 라이브러리를 포함한다. DeepStream 8.0부터는 특정 멀티미디어 작업(예: 오디오 구문 분석)에 대해 컨테이너 내부에서 추가 패키지(예: gstreamer1.0-libav)를 설치하기 위한 사후 설치 스크립트 실행이 필요할 수 있다.18

4.3 컴퓨터 비전 유틸리티 패키지 (opencv, vpi)

1. OpenCV (opencv): 표준 컴퓨터 비전 라이브러리이다. 이 컨테이너는 OpenCV가 CUDA 지원과 함께 빌드되었음을 보장하여, 이미지 복사, 필터링 및 핵심 알고리즘과 같은 GPU 가속 작업을 가능하게 한다.20 빌드 프로세스는 OpenCV 버전(예: 4.8.0)이 특정 Python 버전 및 JetPack 릴리스와 정확하게 연결되었는지 확인한다.20
2. NVIDIA VPI (vpi): VPI (Vision Programming Interface)는 Jetson의 이종 컴퓨팅 엔진을 활용하여 비전 및 이미지 처리 작업을 수행하도록 설계된 라이브러리이다.22 VPI는 프로그래밍 가능 비전 가속기(PVA), 광학 흐름 가속기(OFA), Video and Image Compositor (VIC), 그리고 표준 GPU/CPU를 포함한 특수 하드웨어 블록 전반에 걸쳐 알고리즘을 추상화하고 가속화한다.22 VPI 패키지는 스테레오 깊이 추정기, KLT 기능 추적기, Harris 코너 검출과 같은 특수 기능을 지원하며 23, 개발자가 Jetson 아키텍처에 특화된 저전력, 고처리량 엔진을 최대한 활용할 수 있도록 보장한다.

opencv (GPU 중심)와 vpi (전용 가속기 중심) 패키지의 병렬적 포함은 **이종 파이프라이닝(Heterogeneous Pipelining)**을 통해 컴퓨팅 처리량을 극대화하는 정교한 아키텍처 전략을 의미한다. Jetson 플랫폼은 여러 개의 고유한 컴퓨팅 유닛(GPU, CPU, PVA, OFA)을 가지고 있다.22 OpenCV는 주로 일반적인 CV 작업을 위해 GPU/CPU를 활용하는 반면 20, VPI는 특정 기본 요소(예: 광학 흐름, 추적)를 위해 전용 저전력 가속기(PVA/OFA)를 표적으로 삼는다.22 이 두 패키지를 모두 컨테이너로 제공함으로써, VPI는 저수준의 전문화되고 고효율적인 작업을 처리하고, GPU(PyTorch/TensorFlow 컨테이너를 통해 접근)는 복잡한, 고-FLOP AI 추론을 위해 자유롭게 활용되는 아키텍처로 개발자들을 안내한다. 이는 전력 제약이 있는 엣지 장치에서 실시간 성능을 유지하는 데 결정적인 역할을 한다.

Table 3: 특수 로보틱스 및 비전 패키지 요약

5. 전문화 및 생성형 AI 애플리케이션 패키지

이 컨테이너들은 최신 AI 동향과 특정 도메인 구현을 다루며, 종종 상당한 자원 요구사항을 부과한다.

5.1 언어 및 오디오 모델 (예: nano_llm, whisper, parler-tts)

nano_llm 및 ros2_nanollm과 같은 패키지들은 최적화된 LLM 및 VLM(예: LLaVA)을 Jetson에 직접 배포하는 데 전념하며, 이 플랫폼을 엣지 생성형 AI에 적합하게 만든다.16 이러한 생성형 AI 모델은 상당한 메모리 및 스토리지 요구사항을 부과한다. 예를 들어, nano_llm:humble과 같은 LLM 컨테이너를 실행하려면 이미지 자체에 약 22GB가 필요하며, 모델에 대해서는 10GB 이상이 추가로 필요할 수 있다.16

whisper (음성 인식) 및 parler-tts (텍스트-음성 변환)와 같은 오디오 패키지는 엣지 배포를 위해 최적화된 특수 오디오 처리 모델을 제공한다.24

5.2 특정 모델 패키지 (예: yolov8, movenet, stable-diffusion)

이 컨테이너들은 예시 애플리케이션 역할을 하며, 널리 사용되는 사전 훈련된 모델(예: 객체 감지를 위한 YOLOv8, 자세 추정을 위한 MoveNet)을 필요한 모든 종속성과 런타임(종종 TensorRT 최적화 활용)과 함께 패키징한다.5 이들은 컴퓨터 비전 작업에 대해 즉각적이고 검증 가능한 개념 증명 환경을 제공한다.

5.3 스토리지의 필수 조건

이러한 현대 AI 컨테이너 및 모델의 대규모 크기(예: LLaVA는 총 27.4GB 필요; Whisper는 모델 7.5GB + 이미지 1.5GB 필요)는 Docker 스토리지를 위한 외장 NVMe SSD 설치 및 설정을 심각한 생성형 AI 개발을 위한 필수 전제 조건으로 만든다.24

생성형 AI 패키지로의 전환은 NVMe SSD 스토리지를 최신 Jetson 스택의 단순한 최적화 옵션이 아닌, 근본적인 요구 사항으로 격상시킨다. 이전 CV 모델은 eMMC나 SD 카드의 용량 내에서 충분히 수용할 수 있었지만, 새로운 생성형 AI 패키지들은 컨테이너 이미지와 모델 가중치에 수십 기가바이트를 요구한다.16 복잡한 추론을 실행하려면 모델 로딩 및 체크포인팅을 위한 높은 I/O 처리량이 필요하다. 따라서 컨테이너 생태계의 아키텍처는 이제 특정 스토리지 하드웨어 사양 (NVMe SSD)에 내재적으로 묶이게 되었으며 25, 이는 제품화에 있어 비용 및 자재 명세서(BOM) 측면에서 중요한 영향을 미친다.

Table 4: 생성형 AI 패키지 및 자원 요구량

6. 배포 및 사용자 정의 메커니즘

이 섹션은 개발자가 jetson-containers 생태계와 상호 작용하여 패키지를 관리, 수정 및 배포하는 방법을 상세히 설명한다.

6.1 통합된 jetson-containers 워크플로우

jetson-containers 프로젝트는 복잡한 Jetson 환경 설정을 단순화하기 위해 일련의 쉘 스크립트 도구를 제공한다.

• install.sh: 이 스크립트는 리포지토리를 복제하고 필요한 도구를 설정하여 Jetson 호스트 환경을 초기화한다.12
• run: 이 명령은 docker run을 실행하며, Jetson에 필요한 기본값(예: --runtime nvidia, /data 캐시 마운트, 장치 구성)을 자동으로 주입한다.12
• autotag: 이 유틸리티는 Jetson-native 오케스트레이션 레이어의 핵심 지능이다. 호스트의 JetPack/L4T 버전을 식별하고, 해당 버전과 호환되는 컨테이너 이미지를 자동으로 찾는다. 이는 로컬에서 이미지를 찾거나, 레지스트리에서 사전 빌드된 이미지를 가져오거나, 필요한 경우 빌드를 큐에 넣는 방식으로 이루어진다.12
• build: 이 명령은 특정 패키지의 Dockerfile을 컴파일한다. $ jetson-containers build --name=my_container pytorch transformers ros:humble-desktop과 같이 여러 패키지를 단일 컨테이너로 결합하는 것을 허용한다.12

6.2 고급 컨테이너 수정: 패키지 결합 및 버전 오버라이드

이 프로젝트의 모듈식 설계는 개발자가 기능을 통합한 컨테이너를 생성하여 맞춤형 애플리케이션 컨테이너(예: ROS2 + PyTorch + Transformers)를 구축하도록 장려한다.12 개발자는 환경 변수를 통해 특정 종속성을 관리하여 빌드 프로세스를 세부적으로 제어할 수 있다. 예를 들어, CUDA_VERSION=12.6 jetson-containers build transformers 명령을 사용하면 컨테이너 스택을 대체 CUDA 종속성으로 재빌드하도록 강제할 수 있으며, 이는 상위 스택에서의 호환성을 가정하고 수행된다.12

이러한 run, autotag, build 도구의 결합은 표준 Docker CLI 경험을 Jetson-Native 오케스트레이션 레이어로 변화시킨다. 표준 Docker는 런타임, 볼륨 마운트, 장치 플래그를 명시적으로 구성해야 하는 반면, jetson-containers 스크립트는 Jetson 플랫폼에 특화된 이러한 복잡성을 추상화한다 (예: --runtime nvidia 및 필수 경로 자동 마운트).12 특히 autotag는 L4T 호스트 OS에 맞게 조정된 호환성 종속성 해결사의 역할을 수행하여 자동화된 버전 해결을 제공한다.12 결과적으로 이 프로젝트는 복잡한 NVIDIA 종속성을 다루는 임베디드 개발자를 위해 운영 장벽을 크게 낮추는 통합된 작업 흐름 추상화를 제공한다.

7. 결론 및 권고 사항

dusty-nv/jetson-containers 프로젝트는 NVIDIA Jetson 플랫폼에서 딥러닝 및 로보틱스 애플리케이션을 개발하고 배포하는 데 필수적인 아키텍처적 해결책을 제시한다. 이 컨테이너 에코시스템은 단순히 소프트웨어 패키지를 모아놓은 것이 아니라, L4T의 엄격한 버전 제약 조건과 엣지 장치 컴퓨팅의 이종적 특성을 관리하는 정교한 시스템이다.

7.1 분석 종합 및 주요 결론

1. 버전 관리 중앙 집중화: 이 프로젝트는 PyTorch, TensorFlow와 같은 고수준 ML 프레임워크가 특정 JetPack/L4T 버전과 호환되는 AArch64 바이너리를 요구하는 근본적인 문제를 해결한다. autotag 유틸리티와 캐시된 Pip 서버 12를 통해, 이 프로젝트는 사실상 Jetson AI 소프트웨어 공급망 관리자의 역할을 수행하여, 복잡한 종속성 구축을 단순화하고 개발의 신뢰성을 극대화한다.
2. 이종 컴퓨팅 최적화: 패키지 카탈로그는 l4t-cuda와 l4t-tensorrt와 같은 계층적 기반 이미지와 더불어, vpi 및 deepstream과 같은 특수 라이브러리를 포함함으로써 Jetson의 전체 컴퓨팅 용량 활용을 촉진한다.18 이는 GPU, PVA, OFA 등 Jetson의 다양한 하드웨어 가속 블록을 활용하는 이종 파이프라인 아키텍처를 권장한다.
3. 생성형 AI와 하드웨어 제약: nano_llm과 같은 최신 생성형 AI 패키지의 도입은 컨테이너 아키텍처의 자원 요구 사항을 근본적으로 변화시켰다. 이러한 모델의 대규모 스토리지 요구량(일부 컨테이너는 27GB 이상 필요) 16으로 인해 NVMe SSD 스토리지가 선택 사항이 아닌 필수적인 BOM 항목이 되었다.25

7.2 전문가 권고 사항

Jetson 플랫폼에서 고성능 임베디드 AI 솔루션을 설계하거나 배포하는 전문가는 다음의 전략적 지침을 준수해야 한다.

1. 호스트 L4T 버전 통일: 컨테이너 이식성은 호스트 L4T 버전에 상대적이므로, 배포 시 Jetson 플릿 전체의 JetPack/L4T 버전을 통일하는 것이 컨테이너 환경의 안정성을 유지하는 데 결정적이다.8
2. NVMe SSD 표준화: 생성형 AI 워크로드 또는 여러 ML 애플리케이션을 동시에 실행할 계획이라면, 성능 및 용량 요구 사항을 충족하기 위해 NVMe SSD를 필수 시스템 구성 요소로 포함해야 한다.
3. 모듈식 컨테이너 활용: jetson-containers build 명령을 사용하여 PyTorch와 ROS2를 결합하는 등 12, 애플리케이션에 필요한 최소한의 기능만을 포함하는 맞춤형 컨테이너를 구축하여 리소스 오버헤드를 줄이고 보안 격리 이점을 유지해야 한다.
4. VPI를 통한 부하 분산: DeepStream 및 VPI 패키지를 활용하여 복잡하고 범용적인 딥러닝 추론 작업(GPU)과 저수준의 이미지 처리 기본 요소(PVA/OFA) 간에 컴퓨팅 부하를 분산시켜 전체 시스템의 실시간 처리량을 극대화해야 한다.22

8. 참고 자료

1. JetPack Software Stack for NVIDIA Jetson - NVIDIA Developer, https://developer.nvidia.com/embedded/jetpack
2. JetPack SDK - NVIDIA Developer, https://developer.nvidia.com/embedded/jetpack-sdk-62
3. Jetson pytorch cuda cudnn version related logic - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/jetson-pytorch-cuda-cudnn-version-related-logic/329199
4. Installing TensorFlow for Jetson Platform - NVIDIA Docs, https://docs.nvidia.com/deeplearning/frameworks/install-tf-jetson-platform/index.html
5. Computer Vision With Jetson Nano - Rombit, https://rombit.com/uncategorized/2019/12/10/computer-vision-how-rombit-uses-deep-learning-and-nvidias-jetson-platform-to-make-existing-cctv-cameras-smarter/
6. Use These! Jetson Docker Containers Tutorial - JetsonHacks, https://jetsonhacks.com/2023/09/04/use-these-jetson-docker-containers-tutorial/
7. Cloud-Native on Jetson - NVIDIA Developer, https://developer.nvidia.com/embedded/jetson-cloud-native
8. NVIDIA L4T Base - NGC Catalog, https://catalog.ngc.nvidia.com/orgs/nvidia/containers/l4t-base
9. NVIDIA L4T CUDA - NGC Catalog, https://catalog.ngc.nvidia.com/orgs/nvidia/containers/l4t-cuda
10. Build with different EPs - ONNX Runtime, https://onnxruntime.ai/docs/build/eps.html
11. CNNs – GALLUS GALLUS ROBOTICUS - Miranda Moss -, https://mirandamoss.com/gallusgallusroboticus/?cat=45
12. dusty-nv/jetson-containers: Machine Learning Containers for NVIDIA Jetson and JetPack-L4T - GitHub, https://github.com/dusty-nv/jetson-containers
13. jetson-container build pytorch: cuda is not available · Issue #1495 - GitHub, https://github.com/dusty-nv/jetson-containers/issues/1495
14. How to install Tensorflow 2.17 with GPU in Jetson Nano Developer Kit with Jetpack 6.1 running on Ubuntu 22.04, https://forums.developer.nvidia.com/t/how-to-install-tensorflow-2-17-with-gpu-in-jetson-nano-developer-kit-with-jetpack-6-1-running-on-ubuntu-22-04/340232
15. Install ONNX Runtime | onnxruntime, https://onnxruntime.ai/docs/install/
16. ROS2 Nodes for Generative AI - NVIDIA Jetson AI Lab, https://www.jetson-ai-lab.com/ros.html
17. simulation – GALLUS GALLUS ROBOTICUS - Miranda Moss -, https://mirandamoss.com/gallusgallusroboticus/?cat=44
18. Docker Containers — DeepStream documentation - NVIDIA Docs Hub, https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_docker_containers.html
19. DeepStream SDK - Get Started - NVIDIA Developer, https://developer.nvidia.com/deepstream-getting-started
20. OpenCV - Jetson Docs, https://jetson-docs.com/libraries/opencv/overview
21. NVIDIA Jetson OpenCV Tutorials - Episode 1 - YouTube, https://www.youtube.com/watch?v=lQfWANnqmps
22. Vision Programming Interface (VPI) - NVIDIA Developer, https://developer.nvidia.com/embedded/vpi
23. VPI - Vision Programming Interface: Main Page - NVIDIA Docs Hub, https://docs.nvidia.com/vpi/
24. jetson-examples - PyPI, https://pypi.org/project/jetson-examples/
25. SSD + Docker - NVIDIA Jetson AI Lab, https://www.jetson-ai-lab.com/tips_ssd-docker.html
26. Tutorial - Stable Diffusion - NVIDIA Jetson AI Lab, https://www.jetson-ai-lab.com/tutorial_stable-diffusion.html